データ分析を定義する: 変化しているビジネスインテリジェンスの役割
ビジネスデータを扱う取り組みは、新しい現象ではありません。20 年前、私たちは高度な訓練を受けた技術スペシャリストの力に頼ってデータベースモデリングから意味を引き出していましたが、大企業にはそこから自力で時間をかけて分析する作業が残されており、その時でも、インサイトは紙に印刷された途端時機を逸したものとなっていました。まったく実践的なものではなかったのです。
しかし、今日はあらゆるサイズのビジネスがデータに (ビッグデータにすら) 接続して分析し、互いに情報を提供し合い、より良いビジネス上の意思決定へと導くことが可能です。分析と理解を高めるインタラクティブなビジュアライゼーションとダッシュボードを利用し、データに裏付けされたより良い意思決定が行われています。発見に何日も何週間もかけていたことが今では数分ででき、そのインパクトは一層大きくなっています。
アナリストにとって、目標は今でも同じです。データを探索し機会を見出し、その過程で生じた疑問に答えることです。アナリストには、データを使えばもっと簡単に論点を証明できることがすでに分かっていますが、それはそのデータに関連性があり理解可能な場合だけです。では、データの関連性を生み出す方法は何でしょう? データ分析です。分析を理解可能にする方法は? ビジュアライゼーションです。これらの要素が自然に結び付くと、データ分析はビジュアルで共有しやすいものになります。
スタートアップから大企業まで、組織は情報に基づく意思決定のため社員がデータを活用できるようにし始めており、これがセルフサービスのビジュアル BI ソリューションの導入拡大に反映されています。(*1) これらのソリューションはアナリストとビジネス上の意思決定者に必要なインサイトを提供するだけでなく、驚くほど速くよりスマートな意思決定をも促進します。(*2) 事実、分析スキルに対する需要は非常に高く、高等教育機関では分析に特化したプログラムが組まれているほどで、中でもビジネス分析プログラムは最も急速に拡大しています。セルフサービスベンダーはこの需要に対応しようと市場に殺到し、多くの場合同じ内容を言葉を変えて語ったり、意味不明な市場用語を使ったりして、目立つ存在になろうと努力しています。
分析、データ分析、ビジネス分析、データディスカバリ、ビジュアライゼーション、高度な分析… これらの違いは何でしょう? これらの概念はどのように交わるのでしょうか? それらの違いを気にするべきなのでしょうか? 多数の略語を理解しようとして、私たちは、今日の分析とは何かを定義できるキーワードとフレーズを探索し、成功するプラットフォームの特徴についてまとめます。そうすることで、データを活用する段階に進むことができます。
*1 ビジネスインテリジェンスおよび分析プラットフォームのマジック・クアドラント、ガートナー社、2017 年。
*2 Passlick, Jens, Benedikt Lebek, and Michael H. Breitner.「A Self-Service Supporting Business Intelligence and Big Data Analytics Architecture (BI およびビッグデータ分析アーキテクチャに対応したセルフサービス)」(2017 年)。
‘viZH(oo)əl ,anə'lidiks
名詞
データアクセス、ディスカバリ、探索、ビジュアルインタラクティビティにより導かれる情報共有。
データ分析とビジュアライゼーションは、かつて 2つの異なるステップでした。アナリストは、クエリを実行したり計算を書いたりしてデータソースから答えを得た後で、特定のチャートやグラフに結果をエクスポートしていました。ただし、それ自体がプロセスであるデータディスカバリを視覚化することによって、さらに深く意味ある方法でデータを探索できるようになりました。ビジュアル分析を使えば、それ以外には考えもつかなかったような方法でデータを表示する可能性が浮かび上がります。
データディスカバリのプロセスを視覚化することで、分析しながらそのフィードバックを目で確認することもできます。これでデータ探索の力が得られるため、思考の流れに沿って作業ができるようになります。分析を組み立てると同時に情報を得ることができれば、調査をするための機会が発生します。このようにビジュアル分析は、「なぜ?」と問い続けることで質問がますます複雑になる場合でも、データに関する質問と答えを直感的に導き出します。これは時にアドホック分析と呼ばれ、質問をはっきり念頭に置いてデータ分析を始めたかどうかに関係なく、データに関する質問に自然に答えることができます。
共有環境では、ビジュアルの力をさらに拡大して理解を深め、アートワークのビジュアル分析を実行して学んだ内容からヒントを得るために、分析内でビジュアルベストプラクティスを活用できます。(*3) 言い換えれば、より優れた価値を提供するためには、データビジュアライゼーションを色や形、サイズでエンコードする方法が重要なため、ビジュアライゼーションの体裁を整えて、発見したことを適切に伝え、他のユーザーにもさらなる掘り下げを促す必要があります。
したがって、ビジュアル分析はビジュアライゼーションとは同じものではありません。ビジュアライゼーションはデータを受動的に表現し、1 つのストーリーだけを伝えます。ただし、コンピューティング能力が進化してデータがアクセスしやすくなったことにより、分析と同時にビジュアルサポートを得て質問の答えを見出し、その後インタラクティブな結果を他のユーザーと共有することもできます。そうすることで、データに関するコミュニケーションの品質と共同の意思決定が向上し、促進されます。
外れ値、トレンド、予備分析の実行を求めるアナリストやデータサイエンティストにとって、このアドホックなビジュアル分析をサポートするビルトインツールはますます重要になっています。ここで、もう 1 つ業界でよく使われる「高度な分析」という言葉について考えます。
əd' vanst ,anə'lidiks
名詞
従来の分析の限界を超えることを意図した、スマートな、自動化された、あるいはそれ以外の点で高度なデータアクセス、発見、探索、情報共有。
高度な分析により、私たちはデータからより深いインサイトを発見し、予測を行い (予測分析)、推奨事項を提示することができます (スマート分析または処方的分析)。単独の定義からは、手持ちの分析能力の中で厳密にどれが「高度な」分析であるかを判断することは困難です。
それは、「高度な分析」というフレーズが BI 業界の謎となっており、同時にそれが (1) 予測やビジュアライゼーションのように通常ビジネスユーザーによって試みられることのない分析、および (2) 多くの場合、スクリプティング言語や機械学習、ニューラルネットワーク、多変量統計で促進される複雑なタスクのことを指していることが理由です。
こうした理由から、2 番目のグループに属するデータサイエンティストは、標準のビジュアル分析ツールが高度分析には役立たないと考えるようになり、一方で能力の高いビジネスユーザーまたはアナリスト (ガートナーが言うところの「市民データサイエンティスト」) は、ほぼすべてのビジュアル分析ソフトウェアソリューションに高度な分析能力を見出すことができる可能性があります。
よって、ユーザーによってリストの内容は変わるものの、今日のビジュアル分析ツールにおいて高度な分析には次の項目が不可欠です。
セグメンテーションとコホート分析
シナリオと What-if 分析
高度な計算
時系列分析と予測分析
外部サービスとの統合
これらのシナリオに対応する機能についての詳細は、Tableau を使った高度な分析をご覧ください。
複雑な質問に便利に答えが出せる一方で、これらのテクニックが有効なのは他のユーザーもその結果を簡単に使える場合だけです。たとえば、あなたのビジュアル分析では、R や Pythonで作られたモデルが活用できるとします。ビジュアルでインタラクティブな分析にすることによって、これを統計プログラミング言語を知らないユーザーにも共有し、他のユーザーが自分の質問にリアルタイムで答えられるようにすることができます。
図 1: Tableau のようなビジュアル分析ツールに R を直接記述することにより、(1) 複数の線形回帰を実行し (この場合は具体的な利益目標の達成に必要な旅行者数を見つけること)、(2) ユーザーが自分のパラメーターとその結果として発生する R のスクリプトを設定できるようにし、(3) ビジュアルな結果を簡単に即座に伝えることができる。
そうすると分析ソフトウェアで最も高い効果が得られるのは、高度な分析とビジュアル分析の両方の機能を提供した場合となります。今日、テータアナリストのスキルはビジネスに関わるほぼすべての人に期待されています。(*4) したがって、ソフトウェアはより広範なスキルセットに対応できるスマートなものでなければなりません
*4 採用をもたらすトップスキルLinkedIn 社、2016 年
THə 'sīk(ə)l əv ,anə'lidiks
名詞
データアクセス、ディスカバリ、探索、および情報共有に関連付けられる段階。
人間は、予測的方法で問題解決を行います。アイデアと質問を出し、答えを求めることを繰り返します。分析も同じことです。これはプロセスであり、私たちの思考方法のとおりに設計される必要があります。分析はデータに関する質問に始まり、発見したインサイトの共有を含みますが、それが最終地点である必要はありません。
関連するデータセットを検索する、分析を実行する、さまざまな発見を同僚と共有する、フィードバックを取り入れる、または新しいアプローチを試みることも可能です。どのステップも分析の一部です。このプロセスを直線的に考えることはできますが、データについてもっと知り、本当に答えを得ようとしている質問が明確になるにつれ、特定の段階に戻ることの方が一般的です。このように質問が進化し、期待される内容が変わることを説明するために、また別の市場用語が生まれます。分析のサイクルです。
分析のニーズを満たすプラットフォームを選択する際は、分析から最大の価値を完全に引き出すことができるように、このプロセス内の全ステップが確実にサポートされていることが重要です。
図2
図 2 では、分析のサイクルにはデータへのアクセスから、出来上がったビジュアライゼーションとダッシュボードの共有と反復まで、5 つの主な段階があることを示しています。以下に各段階の目標と、ある段階から次の段階に進む上で役立つソフトウェアの特徴と機能について説明します。
1. アクセスと表示
a. 目標: 保管されている場所にかかわらず必要なデータに接続し、関連するデータソースのとの統合と未整理
データのクリーニングによって分析用に最適化すること。
b. 求められる特徴と機能: データがオンプレミスにあってもクラウドにあっても簡単に接続できるデータコネクタ。ビッグデータ、SQL データベース、スプレッドシート、そして Google や Salesforce などのクラウドアプリケーションなど、種類は問わない。コードの記述が必要ないデータ準備および統合機能 (結合、ユニオン)でデータを変換できること。ピボット、分割、メタデータの管理で分析用にデータ準備ができること。
図 3: ビルトインのクロスデータベース結合で、データの保管場所にかかわらず分析に必要なすべてのデータに 接続することが可能。
操作
a. 目標: データ内のフィールドを即座に視覚化して、その構造をより良く理解し質問に答えられるようにすること。
b. 求められる特徴と機能: あらゆるデータセットのフィールドをチャートやグラフなどに自動的に視覚化するビジュアルデータディスカバリまたはクエリ言語 (VizQLなど)。制限のないデータ探索、複数種類のチャートとグラフからの選択、および試行錯誤を促す直感的なインターフェイス
図 4: ドラッグ＆ドロップのインタラクティビティでデータセットのフィールドを即座に視覚化する。この場合 は地図として表示
分析と発見
a. 目標: データを分析すること、複雑さの異なる質問に対する回答を得ること。外れ値と予想外のトレンドから隠れた機会を見出すこと。
b. 求められる特徴と機能: 形状、色、サイズ、その他をエンコードし、さまざまな視点からその場でデータを探索できるようにすること。使い慣れた式が使える柔軟な計算言語。シンプルなグループ分けから、R やPython などのスクリプト言語を使用した強力な統合までが可能なドラッグ＆ドロップ分析。
図 5: 予測などのビルトインの分析テクニックでデータ分析を支援し、ビジネス機会のある分野を特定する。
共有
a. 目標: ビジュアライゼーションとダッシュボードを他のユーザーと安全に共有して自分のインサイトを見て理解してもらうとともに、他のユーザーもデータを探索できるようにすること。
b. 求められる特徴と機能: ブラウザ内で使える合理的なインターフェイスで、パブリッシュ済みのビジュアライゼーションとダッシュボードを分類し、検索する方法を備えたもの。Web 作成。パブリッシュ済みのビジュアライゼーションとダッシュボードをオンラインで編集して、信頼できるデータに基づく新しい質問に答えられること。データとダッシュボードの閲覧と編集ができる iOS および Android 用モバイルアプリケーション。
図 6: ブラウザまたはモバイルデバイスからデータとダッシュボードにアクセスできる、パブリッシュ済みビジュアライゼーションとダッシュボードのオンラインライブラリ。
利用拡大と管理
a. 目標: 集中化され管理された場所で他のユーザーの専門知識を活用すること。
b. 求められる特徴と機能: オンプレミス、パブリッククラウド、または分析プロバイダーがホスティングするサーバーといった導入環境のオプションがあること。適切なユーザーに必要なデータへのアクセス権を与えるパーミッションモデル。データに適用済みの既存のセキュリティモデルへの統合。
図 7: パーミッション設定を利用することににより、オンラインの管理ビューで最もよく使用されるデータソースやその更新頻度が把握できる。
これらのすべての段階によって分析に情報が提供されて進化するため、質問への回答、機会の特定、および各自のビジネス分野を最もよく知る人々との共同作業が可能になります。ある段階から次の段階へと自由に移動できるビジュアル分析ソリューションを選択することにより、それが実験目的でも改善のためでも、あるいは互いに挑戦するためでも、孤立し質問を問いかけることがなくなり、結果が得られるようになります。関心のある情報が、分析向けに構築されたテクノロジーによってアクセス可能になり、意味を持つようになるのです。
進化する市場の定義を常に把握しておくことは重要ですが、一方で分析に関わる要素を一つにまとめたそもそもの理由を忘れてはなりません。利用可能なデータの量は日々増え続け、ビジネスの利益のために下す意思決定は重要性を増しています。そして、私たちはそのようなデータの整理と分析を支援するテクノロジーに期待しています。この作業をサポートするテクノロジーは長年の間に変化してきましたが、私たちの最終目標は変わることがありません。それは、重要な質問に対する答え、つまり、ビジネスを正しい方向に進めるための機会を特定する質問に対する答えを見つけることです。
先頃公開されたビジュアル分析に関するホワイトペーパーには次のように書かれています。「ビジュアル分析ではないものから始めましょう。それは、データのグラフィカル描写です。実質的にはどのソフトウェアアプリケーションも、チャートやゲージ、ダッシュボードを作成することができます。ビジュアル分析は、それよりもはるかに踏み込んだ結果を提供します。ビジュアル分析とは、インタラクティブなビジュアルインターフェイスによって促される分析的思考のプロセスです。」
そのようなツールに対する私たちの期待は変わりました。高機能で強力でありながら、直感的で学習しやすいこと。デスクトップアプリケーション内で利用できる一方で、オンライン、モバイルデバイスでも利用できること。高度な分析をする力がありながら、ビジュアルで魅力的なこと。さらに、分析のサイクルの各ステップを促進して、幅広いデータ範囲への接続、分析に適したデータの準備、インサイトの発見、出来上がったビジュアライゼーションとダッシュボードの共有、信頼できるデータの継続的な分析、これらの全ステップの中央オンライン管理などが可能でなければなりません。
私たちは互いに学び合い、自身のスキルを高め、より良い意思決定を毎日行う必要があります。分析アプリケーションは、最も優秀な技術者に、スマートなインテグレーションを通して R や Python で構築したモデルを活用するように促す必要がありますが、一方でプログラミングやコーディングができないユーザーには、コア分析機能をも提供しています。これらのユーザーによるビジネス分野のデータに関するインサイトは、他のユーザーがより優れた意思決定をする上で役立つためです。
「Tableau によって、新しいことを探るための仮説テストを非常にすばやく反復実行することができます。これは非常に大きなデータセットを扱う場合に非常に重要です。分析の視点と方法は、非常にすばやく変えることができなければなりません。Tableau の力で、それが可能になります。」
— BRIAN DURKIN、イノベーションストラテジスト、INNOVATION STRATEGIST 社